Do chủ trương đưa quân Mỹ vào tham chiến ở Việt Nam và lời tuyên bố "Quân đội là cha quốc gia!"[10][11], uy tín của ông càng lúc càng xuống thấp và ngày càng mất lòng dân. Nhóm các tướng trẻ, do đó, thống nhất truất phế ông. Ngày 21 tháng 2 năm 1965, ông bị thu hồi tất cả các chức vụ đã đảm nhiệm và ngày 22/2/1965 ông phải nhận chức đại sứ lưu động ở nước ngoài[12]. Trước khi đi, ngày 25 tháng 2, ông còn nắm theo một miếng đất và tuyên bố: "Tôi có mang theo nắm đất quê hương, một ngày nào đó nhất định sẽ trở về". Tuy nhiên, lời tuyên bố này cho đến khi qua đời ông vẫn không thể thực hiện được.